تیمی از محققان دانشگاه پکن و JD AI Research اخیراً یک چارچوب استدلال چند دانه برای شناخت روابط اجتماعی تهیه کرده اند. چارچوب آنها ، در مقاله ای که از قبل در مورد arXiv منتشر شده است ، برای تجزیه و تحلیل تصاویر افراد در صحنه های مختلف و پیش بینی رابطه اجتماعی بین آنها آموزش داده شده است.
استنباط موثر در روابط اجتماعی بین مردم می تواند به عوامل هوشمند کمک کند تا درک بهتری از رفتارها و عواطف انسانی داشته باشند. شناخت رابطه اجتماعی مبتنی بر تصویر مستلزم توانایی طبقه بندی رابطه بین جفت افراد در یک تصویر در انواع روابط از پیش تعریف شده ، مانند دوستان ، خانواده ، آشنایان ، غریبه ها و غیره است.
ابزارهای شناسایی ارتباطات اجتماعی مبتنی بر تصویر می توانند کاربردهای مفیدی داشته باشند ، به عنوان مثال در جمع آوری تصویر شخصی و درک رویدادهای اجتماعی. پیشرفت های اخیر در یادگیری عمیق ، فرصت های جدیدی را برای شناخت روابط اجتماعی گشوده است و منجر به پیشرفت های چشمگیر در عملکرد می شود.
با این وجود ، به طور خودکار به رسمیت شناختن روابط اجتماعی در تصاویر ، تاکنون چالش برانگیز بوده است ، خصوصاً به دلیل شکاف اساسی بین حوزه های محتوای بصری و روابط اجتماعی. اکثر رویکردهای موجود با استفاده از ویژگیهای پردازش جداگانه مانند صورت ، ظاهر بدن و سرنخهای متنی کار می کنند.
محققان در مقاله خود نوشتند: "روشهای موجود برای شناخت روابط اجتماعی معمولاً از ویژگیهای بصری سطح پایین مانند ظاهر افراد ، ویژگیهای چهره و اشیاء متنی استفاده می کنند." "اگرچه برخی از رویکردها روابط بین اشخاص و اشیاء را مورد بررسی قرار می دهند ، اما تنها همزیستی را در یک تصویر در نظر می گیرند. با این وجود ، تنها با توجه به نمایندگی تک دانه ای می توان به سختی بر شکاف دامنه بین ویژگیهای بصری و روابط اجتماعی غلبه کرد."
مروری بر چارچوب استدلال چند دانه ای. اعتبار: ژانگ و همکاران.
با تجزیه و تحلیل ویژگیها به صورت جداگانه ، روشهای موجود برای شناسایی روابط اجتماعی به طور معمول قادر به ضبط معانی چند ذره ای ، مانند صحنه های کلی یا مکانهایی که افراد در یک تصویر قرار دارند ، و همچنین تعامل بین افراد و اشیاء نیست. برای رسیدگی به این محدودیت ها ، تیم محققان دانشگاه پکن و JD AI Research یک چارچوب استدلال چند دانه ای برای شناخت روابط اجتماعی در تصاویر طراحی کردند.
چارچوب آنها دانش کلی جهانی را از کل صحنه و جزئیات سطح میانی از مناطقی که افراد و اشیاء در یک تصویر قرار دارند ، کسب می کند. همچنین دانه های ریز و درشت نقاط کلیدی مردم را کشف می کند تا از تعامل بین افراد و اشیاء پرده برداری کند.
لینک فیلم: https://www.namasha.com/v/dFHRrToj
محققان در مقاله خود توضیح دادند: "به طور خاص ، نمودارهای شخصیت-هدایت شده برای شخص منفی و نمودار شخص-درخشان به منظور مدل سازی اقدامات از افراد به موضوع و تعامل بین افراد زوج به ترتیب پیشنهاد می شوند." "بر اساس این نمودارها ، استدلال در رابطه اجتماعی توسط شبکه های حلقوی نمودار انجام می شود. سرانجام ، ویژگی های جهانی و دانش استدلالی به عنوان یک بازنمایی جامع برای شناخت روابط اجتماعی ادغام می شوند."
محققان مدل خود را بر روی دو مجموعه داده روابط اجتماعی در مقیاس بزرگ ، یعنی افراد در زمینه اجتماعی (PISC) و مجموعه افراد در آلبوم عکس (PIPA) ارزیابی کردند. مجموعه داده PISC حاوی تصاویری از روابط اجتماعی مشترک در زندگی روزمره است ، در حالی که مجموعه داده PIPA حاوی تصاویر حاشیه نویسی بر اساس نظریه حوزه اجتماعی است که زندگی اجتماعی را به پنج حوزه و 16 روابط مختلف تقسیم می کند. در این آزمونها ، مدل آنها نتایج چشمگیری به دست آورد ، و از بسیاری از روشهای پیشرفته و برتر استفاده می کند.
با وجود این نتایج دلگرم کننده ، توسعه ابزار برای به رسمیت شناختن روابط اجتماعی بسیار چالش برانگیز است ، به خصوص وقتی این روابط صمیمی مانند روابط بین دوستان ، خانواده یا زوجین باشد ، که تشخیص بینندگان انسانی نیز می تواند دشوار باشد. در آینده محققان قصد دارند روشهای جدیدی را برای کشف نشانه های زمینه در تصاویر و غلبه بر چالش های ناشی از کمبود داده های موجود برای برخی از انواع روابط اجتماعی کشف کنند.
تیمی از محققان دانشگاه پکن و JD AI Research اخیراً یک چارچوب استدلال چند دانه برای شناخت روابط اجتماعی تهیه کرده اند. چارچوب آنها ، در مقاله ای که از قبل در مورد arXiv منتشر شده است ، برای تجزیه و تحلیل تصاویر افراد در صحنه های مختلف و پیش بینی رابطه اجتماعی بین آنها آموزش داده شده است.
استنباط موثر در روابط اجتماعی بین مردم می تواند به عوامل هوشمند کمک کند تا درک بهتری از رفتارها و عواطف انسانی داشته باشند. شناخت رابطه اجتماعی مبتنی بر تصویر مستلزم توانایی طبقه بندی رابطه بین جفت افراد در یک تصویر در انواع روابط از پیش تعریف شده ، مانند دوستان ، خانواده ، آشنایان ، غریبه ها و غیره است.
ابزارهای شناسایی ارتباطات اجتماعی مبتنی بر تصویر می توانند کاربردهای مفیدی داشته باشند ، به عنوان مثال در جمع آوری تصویر شخصی و درک رویدادهای اجتماعی. پیشرفت های اخیر در یادگیری عمیق ، فرصت های جدیدی را برای شناخت روابط اجتماعی گشوده است و منجر به پیشرفت های چشمگیر در عملکرد می شود.
با این وجود ، به طور خودکار به رسمیت شناختن روابط اجتماعی در تصاویر ، تاکنون چالش برانگیز بوده است ، خصوصاً به دلیل شکاف اساسی بین حوزه های محتوای بصری و روابط اجتماعی. اکثر رویکردهای موجود با استفاده از ویژگیهای پردازش جداگانه مانند صورت ، ظاهر بدن و سرنخهای متنی کار می کنند.
محققان در مقاله خود نوشتند: "روشهای موجود برای شناخت روابط اجتماعی معمولاً از ویژگیهای بصری سطح پایین مانند ظاهر افراد ، ویژگیهای چهره و اشیاء متنی استفاده می کنند." "اگرچه برخی از رویکردها روابط بین اشخاص و اشیاء را مورد بررسی قرار می دهند ، اما تنها همزیستی را در یک تصویر در نظر می گیرند. با این وجود ، تنها با توجه به نمایندگی تک دانه ای می توان به سختی بر شکاف دامنه بین ویژگیهای بصری و روابط اجتماعی غلبه کرد."
مروری بر چارچوب استدلال چند دانه ای. اعتبار: ژانگ و همکاران.
با تجزیه و تحلیل ویژگیها به صورت جداگانه ، روشهای موجود برای شناسایی روابط اجتماعی به طور معمول قادر به ضبط معانی چند ذره ای ، مانند صحنه های کلی یا مکانهایی که افراد در یک تصویر قرار دارند ، و همچنین تعامل بین افراد و اشیاء نیست. برای رسیدگی به این محدودیت ها ، تیم محققان دانشگاه پکن و JD AI Research یک چارچوب استدلال چند دانه ای برای شناخت روابط اجتماعی در تصاویر طراحی کردند.
چارچوب آنها دانش کلی جهانی را از کل صحنه و جزئیات سطح میانی از مناطقی که افراد و اشیاء در یک تصویر قرار دارند ، کسب می کند. همچنین دانه های ریز و درشت نقاط کلیدی مردم را کشف می کند تا از تعامل بین افراد و اشیاء پرده برداری کند.
لینک فیلم: https://www.namasha.com/v/dFHRrToj
محققان در مقاله خود توضیح دادند: "به طور خاص ، نمودارهای شخصیت-هدایت شده برای شخص منفی و نمودار شخص-درخشان به منظور مدل سازی اقدامات از افراد به موضوع و تعامل بین افراد زوج به ترتیب پیشنهاد می شوند." "بر اساس این نمودارها ، استدلال در رابطه اجتماعی توسط شبکه های حلقوی نمودار انجام می شود. سرانجام ، ویژگی های جهانی و دانش استدلالی به عنوان یک بازنمایی جامع برای شناخت روابط اجتماعی ادغام می شوند."
محققان مدل خود را بر روی دو مجموعه داده روابط اجتماعی در مقیاس بزرگ ، یعنی افراد در زمینه اجتماعی (PISC) و مجموعه افراد در آلبوم عکس (PIPA) ارزیابی کردند. مجموعه داده PISC حاوی تصاویری از روابط اجتماعی مشترک در زندگی روزمره است ، در حالی که مجموعه داده PIPA حاوی تصاویر حاشیه نویسی بر اساس نظریه حوزه اجتماعی است که زندگی اجتماعی را به پنج حوزه و 16 روابط مختلف تقسیم می کند. در این آزمونها ، مدل آنها نتایج چشمگیری به دست آورد ، و از بسیاری از روشهای پیشرفته و برتر استفاده می کند.
با وجود این نتایج دلگرم کننده ، توسعه ابزار برای به رسمیت شناختن روابط اجتماعی بسیار چالش برانگیز است ، به خصوص وقتی این روابط صمیمی مانند روابط بین دوستان ، خانواده یا زوجین باشد ، که تشخیص بینندگان انسانی نیز می تواند دشوار باشد. در آینده محققان قصد دارند روشهای جدیدی را برای کشف نشانه های زمینه در تصاویر و غلبه بر چالش های ناشی از کمبود داده های موجود برای برخی از انواع روابط اجتماعی کشف کنند.
هواپیماهای بدون سرنشین قابل حمل جدید در سوراخ های باریک در ماموریت های نجات پرواز می کنند